Khi Quân đội Hoa Kỳ lớn mạnh về số lượng sau Nội chiến Hoa Kỳ, việc phối hợp các hoạt động quân sự giữa Lục quân Hoa Kỳ và Hải quân Hoa Kỳ càng ngày càng trở nên khó khăn. Việc phối hợp chiến đấu của Lục quân và Hải quân thiếu sự hỗ trợ ở cả mặt kế hoạch và tác chiến và bị giới hạn vì thiếu sự đồng thuận trong Chiến tranh Tây Ban Nha-Mỹ tại các chiến dịch ở vùng Caribe.[3] Ban hiệp đồng Lục quân và Hải quân được Tổng thống Theodore Roosevelt thành lập vào năm 1903 gồm có các đại diện của các lãnh đạo quân sự và chỉ huy trưởng cao cấp của cả Tổng bộ Hải quân Hoa Kỳ và Tổng bộ Tham mưu Lục quân Hoa Kỳ. Ban hiệp đồng này đóng vai trò như một "ủy ban cố vấn" được thành lập để hoạch định các chiến dịch hỗn hợp và giải quyết các vấn đề hiềm khích thông thường giữa hai quân chủng.[3]

Tuy nhiên, Ban hiệp đồng này chỉ hoàn thành một ít nhiệm vụ vì hiến chương của Ban không cho phép Ban bắt buộc việc thi hành các quyết định của mình. Ban cũng thiếu khả năng đưa ra ý kiến của chính mình và vì thế bị giới hạn trong phạm vi chỉ phát biểu về các vấn đề được Bộ trưởng Chiến tranh và Bộ trưởng Hải quân đưa ra mà thôi. Kết quả là Ban hiệp đồng có từ ít đến không có ảnh hưởng về cách mà Hoa Kỳ tiến hành chiến tranh trong Thế chiến thứ nhất.

Sau Thế chiến thứ nhất, vào năm 1919, hai bộ trưởng đồng ý với nhau tái thành lập và làm tái sinh Ban hiệp đồng. Lần này, thành viên của Ban sẽ bao gồm các Tham mưu trưởng, Phó Tham mưu trưởng, tổng cục trưởng chiến lược của Lục quân Hoa Kỳ và tổng cục trưởng chiến lược của Hải quân Hoa Kỳ. Dưới Ban Liên quân sẽ là một bộ tham mưu được gọi là Ủy ban Kế hoạch Liên quân (Joint Planning Committee) phục vụ ban. Cùng với việc có thêm những thành viên mới, Ban Liên quân có thể đưa ra sáng kiến đề nghị của chính mình. Tuy nhiên, Ban Liên quân vẫn không có quyền hợp pháp để bắt buộc việc thi hành các quyết định của ban.

Năm 1942, Tổng thống Hoa Kỳ Franklin D. Roosevelt và Thủ tướng Vương quốc Anh Winston Churchill thành lập Bộ tổng tham mưu Kết hợp (Combined Chiefs of Staff) sau vụ tấn công của Nhật Bản vào Trân Châu Cảng và Hoa Kỳ tham dự vào Chiến tranh thế giới thứ hai. Bộ tổng tham mưu Kết hợp phục vụ với vai trò của một bộ phận quân sự tối cao cho sự phối hợp chiến lược giữa Hoa Kỳ và các nước trong Khối Thịnh vượng chung Anh. Trong khi Vương quốc Anh có Ủy ban Tham mưu trưởng (Chiefs of Staff Committee) thì Hoa Kỳ không có một cơ quan quân sự nào tương ứng để cung ứng cho Bộ tổng tham mưu Kết hợp từ phía Hoa Kỳ.

Mặc dù Ban Liên quân tồn tại nhưng thẩm quyền của ban ít hữu dụng đối với Bộ tổng tham mưu Kết hợp. Mặc dù vào năm 1935, ban đã xuất bản "Hành động Phối hợp Lục quân và Hải quân", đề xuất một số hướng dẫn cho các chiến dịch phối hợp trong Chiến tranh thế giới thứ hai nhưng Ban Liên quân chỉ giữ chút ảnh hưởng đối với cuộc chiến. Theo sau kết thúcChiến tranh thế giới thứ hai, Ban Liên quân chính thức bị giải thể vào năm 1947.

Để lấp đầy nhu cầu cho một nỗ lực phối hợp và cung ứng công việc tham mưu, Đô đốc William D. Leahy đề nghị một khái niệm về một "bộ tư lệnh tối cao thống nhất" (unified high command) mà sau này có tên là Bộ tổng tham mưu Liên quân (Joint Chiefs of Staff). Ngày 20 tháng 7 năm 1942, Đô đốc Leahy trở thành Tham mưu trưởng của Tổng tư lệnh Lục quân và Hải quân Hoa Kỳ ("Tổng tư lệnh Lục quân và Hải quân Hoa Kỳ" là chức danh quân sự của Tổng thống Hoa Kỳ theo Điều khoản II, § 2, Hiến pháp Hoa Kỳ). Ông lập ra một bộ tổng tham mưu để phục vụ dưới quyền của ông.

Các thành viên đầu tiên của Bộ tổng tham mưu mới thành lập là:

*Arnold sau đó được bổ nhiệm thành Đại tướng Không quân. Cấp bậc khi ông là Tư lệnh Không lực Lục quân là Đại tướng Lục quân.

KhiChiến tranh thế giới thứ hai kết thúc, Bộ tổng tham mưu Liên quân Hoa Kỳ được chính thức thành lập dưới Đạo luật An ninh Quốc gia 1947. Theo đó, cứ mỗi Đạo luật An ninh Quốc gia thì Bộ tổng tham mưu Liên quân sẽ gồm có một Tổng tham mưu trưởng, Tham mưu trưởng Lục quân, Tham mưu trưởng Không quân và Tham mưu trưởng Hải quân. Tham mưu trưởng Thủy quân Lục chiến Hoa Kỳ phải được tham vấn về các vấn đề có liên quan đến lực lượng này, nhưng vị này không phải là thành viên thường trực. Đại tướng Lemuel C. Shepherd, Jr., Tham mưu trưởng Thủy quân Lục chiến năm 1952-55, là người đầu tiên có vai trò của một thành viên không thường trực trong hội đồng. Luật được tu chính trong nhiệm kỳ của Đại tướng Louis H. Wilson, Jr. (1975-79) cho phép Tham mưu trưởng Thủy quân Lục chiến làm thành viên thường trực của hội đồng để cân bằng với ba binh chủng khác trong Bộ Quốc phòng Hoa Kỳ.

Vị trí Tổng tham mưu phó Liên quân được Đạo luật Goldwater-Nichols năm 1986 tạo ra để giảm bớt trách nhiệm cho Tổng tham mưu trưởng Liên quân, đặc biệt các vấn đề liên quan đến trang bị.

Đại tướng Colin L. Powell (1989-93) là người Mỹ gốc châu Phi đầu tiên và duy nhất tính đến năm 2009 phục vụ trong Bộ tổng tham mưu Liên quân Hoa Kỳ. Đại tướng Peter Pace (Tổng tham mưu phó, 2001-05; Tổng tham mưu trưởng, 2005-07) là quân nhân Thủy quân Lục chiến đầu tiên phục vụ với cả hai vai trò Tổng tham mưu trưởng và Tổng tham mưu phó Liên quân. Chưa có một phụ nữ nào phục trong hội đồng.

Mặc dù Tuần duyên Hoa Kỳ là một trong năm quân chủng của Hoa Kỳ nhưng Tư lệnh Tuần duyên Hoa Kỳ không phải một thành viên của Bộ tổng tham mưu Liên quân Hoa Kỳ. Tuy nhiên vị này được hưởng lương phụ trội như các vị trong Bộ tổng tham mưu Liên quân theo Bộ luật Hoa Kỳ số 37, mục 414(a)(5) (4.000 đô la một năm, tính theo năm 2009), và được đặc quyền ưu tiên tại Thượng viện Hoa Kỳ theo Luật Thượng viện số XXIII(1) và được xem là thành viên de facto của Bộ tổng tham mưu Liên quân trong những buổi Tổng thống đọc diễn văn. Không như các Tham mưu trưởng Liên quân là những người không nắm quyền tư lệnh tác chiến quân sự, Tư lệnh Tuần duyên Hoa Kỳ chỉ huy lực lượng của mình. Các sĩ quan Tuần duyên có quyền chính thức được bổ nhiệm làm Tổng tham mưu trưởng hay Tổng tham mưu phó theo Bộ luật Hoa Kỳ số 10 U.S.C. 152(a)(1) & 154(a)(1) theo thứ tự - vì luật chỉ nói chung thuật ngữ "lực lượng vũ trang" hơn là ghi rõ binh chủng nào được quyền - nhưng chưa có một vị sĩ quan nào trong binh chủng Tuần duyên được bổ nhiệm tính đến năm 2009.